Lehrer sinh năm 1928 trong một gia đình Do Thái và lớn lên trong một quận giàu có ở Manhattan (New York).[3] Cha ông, James Lehrer là một nhà sản xuất cà vạt tiên phong, đồng thời vận động tích cực cho tòa Thượng thẩm Do Thái[4]Mặc dù được nuôi dạy trông môi trường Do Thái, Lehrer trở thành một người vô thần bất khả tri.[5] Ông bắt đầu học piano cổ điển khi lên 7, nhưng quan tâm hơn nhiều tới nhạc pop đương thời. Cuối cùng mẹ ông cũng gửi ông tới một thầy dạy piano pop.[6] Khi còn nhỏ, ông đã bắt đầu viết các điệu biểu diễn, thứ giúp ông trở thành một nhà saoanj nhạc trào phúng những năm ở Harvard sau này.[7]

Lehrer vào học Trường Horace Mann ở Riverdale, Bronx.[3][8] Ông cũng từng tham gia trại hè Androscogin, ban đầu là người cắm trại sau là chỉ huy.[9] Lehrer được ghi nhận là một thần đồng và vào Đại học Harvard ở tuổi 15 sau khi tốt nghiệp trường dự bị Loomis Chaffee [4] Khi đang là sinh viên ngành toán, ông bắt đầu viết các ca khúc hài hước để giải trí với bạn bè, bao gồm những bài như "Fight Fiercely, Harvard" (1945). Những ca khúc này về sau được đặt tên lại thành "The Physical Revue" nhại theo tên một tạp chí khoa học hàng đầu là Physical Review.